Pada 27 September 2012, Tan Sri Abdul Ghani meninggal dunia di Institut Jantung Negara (IJN), akibat mengalami komplikasi selepas menjalani pembedahan pintasan jantung. Jenazah Allahyarham telah disemadikan di Tanah Perkuburan Islam USJ 22 . Antara pemain bola sepak kebangsaan yang hadir ialah Datuk Soh Chin Aun, Datuk Santokh Singh, Bakri Ibni, Zainal Abidin Hassan, Dollah Salleh, dan Azlan Johar.

Abdul Ghani meninggalkan isteri Puan Sri Tengku Aishah Tengku Ibrahim, 67, dan empat anak, dua lelaki, Nik Abdul Halim, 42, Nik Mohd. Hanif, 37 dan dua wanita, Nik Salwani, 40 dan Nik Sarina 38, berserta tiga orang cucu perempuan, Nik Nurulhanna, 13, Nik Marisa,, 11 dan Nik Sophea 7.